Xã Đại Sơn trước đây vốn là hai xã Đại Đồng và Kỳ Sơn thuộc huyện Tứ Kỳ.

Xã Đại Đồng được thành lập từ sau cách mạng tháng 8 năm 1945, trên cơ sở sáp nhập các xã cũ: Liệu Xá, Nghĩa Dũng, Nghĩa Xá; các xã cũ chuyển thành 3 thôn thuộc xã Đại Đồng ( cũ ).

Xã Kỳ Sơn được thành lập trước cách mạng tháng 8 năm 1945 ( trước 1 tháng ), trên cơ sở sáp nhập các xã cũ: Phương Quất, Bỉnh Di và Mẫu Đoạn. Các xã cũ chuyển thành 3 thôn thuộc xã Kỳ Sơn ( cũ ).

Xã Kỳ Sơn là một xã giàu truyền thống hiếu học, nổi tiếng ham học 1 vùng đặc biệt là Phương Quất - có nhiều Tiến sĩ nhất huyện Tứ Kỳ xưa.

Trước khi sáp nhập, xã Đại Đồng có diện tích 6,61 km², dân số là 5.901 người, mật độ dân số đạt 893 người/km². Xã Kỳ Sơn có diện tích 3,13 km², dân số là 3.500 người, mật độ dân số đạt 1.118 người/km².

Ngày 16 tháng 10 năm 2019, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết số 788/NQ-UBTVQH14 về việc sắp xếp các đơn vị hành chính cấp huyện, cấp xã thuộc tỉnh Hải Dương (nghị quyết có hiệu lực từ ngày 1 tháng 12 năm 2019)[1]. Theo đó, sáp nhập toàn bộ diện tích và dân số của hai xã Đại Đồng và Kỳ Sơn thành xã Đại Sơn.